AgenticVBench: Can AI Agents Complete Real-World Post-Production Tasks?
AgenticVBench：评估视频后期制作中多模态 AI 代理的基准
🧭 多模态代理 · 视频后期制作基准 ★ 深度解读
Philo Labs Research
首个覆盖视频后期全流程的代理基准，揭示脚手架设计对代理性能的一阶影响
📌 工作参考价值（4 点）
- 脚手架（harness）是一阶变量：同一模型在不同脚手架下的得分差距可达20个百分点。在构建电商/Agent系统时，应像重视模型选型一样重视底层工具链和规划循环的设计。
- 为多模态代理提供专用工具原语：OpenClaw提供的image、tts、video_generate等类型化原语在Sequencing任务中胜出，而通用shell工具使模型在Assembly上表现差。构建电商视频处理或广告合成的Agent时，应封装高层级、参数化的多模态操作，而非让模型从零编写ffmpeg命令。
- 代理失败模式分析指导工程方向：Repurpose任务中83%的失败源于长上下文信息丢失，Repair中24%由模态错位导致。在电商场景中，类似的产品视频压缩或修复任务应优先设计更鲁棒的长期记忆和跨模态对齐机制。
- 基准设计覆盖真实工作流：任务源于20位行业专家的日常流程，涉及0.5小时到一周的人力耗时。这种设计方法可迁移到电商售后、内容生成等Agent任务的真实度校验——从从业者工作流出发定义任务和评分标准，避免脱节。